Graph serves as a powerful tool for modeling data that has an underlying structure in non-Euclidean space, by encoding relations as edges and entities as nodes. Despite developments in learning from graph-structured data over the years, one obstacle persists: graph imbalance. Although several attempts have been made to target this problem, they are limited to considering only class-level imbalance. In this work, we argue that for graphs, the imbalance is likely to exist at the sub-class topology group level. Due to the flexibility of topology structures, graphs could be highly diverse, and learning a generalizable classification boundary would be difficult. Therefore, several majority topology groups may dominate the learning process, rendering others under-represented. To address this problem, we propose a new framework {\method} and design (1 a topology extractor, which automatically identifies the topology group for each instance with explicit memory cells, (2 a training modulator, which modulates the learning process of the target GNN model to prevent the case of topology-group-wise under-representation. {\method} can be used as a key component in GNN models to improve their performances under the data imbalance setting. Analyses on both topology-level imbalance and the proposed {\method} are provided theoretically, and we empirically verify its effectiveness with both node-level and graph-level classification as the target tasks.

尽管最近在跨模式检索领域取得了进展，但由于缺乏手动注释的数据集，研究的重点较少。在本文中，我们提出了一种用于低资源语言的噪声跨语法跨模式检索方法。为此，我们使用机器翻译（MT）来构建低资源语言的伪并行句子对。但是，由于MT并不完美，因此它倾向于在翻译过程中引入噪音，从而使文本嵌入被损坏，从而损害了检索性能。为了减轻这一点，我们引入了一种多视图自我验证方法来学习噪声稳定目标语言表示，该方法采用了跨注意模块来生成软伪靶标，以从基于相似性的视图和功能 - 功能 - 基于视图。此外，受到无监督的MT的反向翻译的启发，我们最大程度地减少了原点句子和反翻译句子之间的语义差异，以进一步提高文本编码器的噪声稳健性。在三个视频文本和图像文本跨模式检索基准跨不同语言上进行了广泛的实验，结果表明，我们的方法显着改善了整体性能，而无需使用额外的人体标记数据。此外，从最近的视觉和语言预训练框架（即剪辑）中配备了预训练的视觉编码器，我们的模型可实现显着的性能增长，这表明我们的方法与流行的预训练模型兼容。代码和数据可在https://github.com/huiguanlab/nrccr上找到。

上下文信息对于各种计算机视觉任务至关重要，以前的作品通常设计插件模块和结构损失，以有效地提取和汇总全局上下文。这些方法利用优质标签来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，可以将优选的分布引入硬像素（即错误分类的像素）。受到无监督范式的对比学习的启发，我们以监督的方式应用了对比度损失，并重新设计了损失功能，以抛弃无监督学习的刻板印象（例如，积极和负面的不平衡，对锚定计算的混淆）。为此，我们提出了阳性阴性相等的对比损失（PNE损失），这增加了阳性嵌入对锚的潜在影响，并同时对待阳性和阴性样本对。 PNE损失可以直接插入现有的语义细分框架中，并以可忽视的额外计算成本导致出色的性能。我们利用许多经典的分割方法（例如，DeepLabv3，Ocrnet，Upernet）和骨干（例如Resnet，Hrnet，Swin Transformer）进行全面的实验，并在两个基准数据集（例如，例如，例如，，例如城市景观和可可固定）。我们的代码将公开

近年来，图形神经网络（GNNS）已实现了节点分类的最新性能。但是，大多数现有的GNN会遭受图形不平衡问题。在许多实际情况下，节点类都是不平衡的，其中一些多数类构成了图的大部分部分。 GNN中的消息传播机制将进一步扩大这些多数类的主导地位，从而导致次级分类性能。在这项工作中，我们试图通过生成少数族裔类实例来平衡培训数据，从而扩展了以前的基于过度采样的技术来解决这个问题。此任务是不平凡的，因为这些技术的设计是实例是独立的。忽视关系信息会使此过采样过程变得复杂。此外，节点分类任务通常仅使用少数标记的节点进行半监督设置，从而为少数族裔实例的产生提供了不足的监督。生成的低质量新节点会损害训练有素的分类器。在这项工作中，我们通过在构造的嵌入空间中综合新节点来解决这些困难，该节点编码节点属性和拓扑信息。此外，对边缘生成器进行同时训练，以建模图结构并为新样品提供关系。为了进一步提高数据效率，我们还探索合成的混合``中间''节点在此过度采样过程中利用多数类的节点。对现实世界数据集的实验验证了我们提出的框架的有效性。

Uncovering rationales behind predictions of graph neural networks (GNNs) has received increasing attention over recent years. Instance-level GNN explanation aims to discover critical input elements, like nodes or edges, that the target GNN relies upon for making predictions. Though various algorithms are proposed, most of them formalize this task by searching the minimal subgraph which can preserve original predictions. However, an inductive bias is deep-rooted in this framework: several subgraphs can result in the same or similar outputs as the original graphs. Consequently, they have the danger of providing spurious explanations and fail to provide consistent explanations. Applying them to explain weakly-performed GNNs would further amplify these issues. To address this problem, we theoretically examine the predictions of GNNs from the causality perspective. Two typical reasons of spurious explanations are identified: confounding effect of latent variables like distribution shift, and causal factors distinct from the original input. Observing that both confounding effects and diverse causal rationales are encoded in internal representations, we propose a simple yet effective countermeasure by aligning embeddings. Concretely, concerning potential shifts in the high-dimensional space, we design a distribution-aware alignment algorithm based on anchors. This new objective is easy to compute and can be incorporated into existing techniques with no or little effort. Theoretical analysis shows that it is in effect optimizing a more faithful explanation objective in design, which further justifies the proposed approach.

指定的实体识别任务是信息提取的核心任务之一。单词歧义和单词缩写是命名实体低识别率的重要原因。在本文中，我们提出了一种名为“实体识别模型WCL-BBCD”（与Bert-Bilstm-Crf-Dbpedia的单词对比学习），结合了对比度学习的概念。该模型首先在文本中训练句子对，计算句子对通过余弦的相似性中的单词对之间的相似性，以及通过相似性通过相似性来命名实体识别任务的BERT模型，以减轻单词歧义。然后，将微调的BERT模型与Bilstm-CRF模型相结合，以执行指定的实体识别任务。最后，将识别结果与先验知识（例如知识图）结合使用，以减轻单词缩写引起的低速问题的识别。实验结果表明，我们的模型在Conll-2003英语数据集和Ontonotes V5英语数据集上优于其他类似的模型方法。

We present DiffusionBERT, a new generative masked language model based on discrete diffusion models. Diffusion models and many pre-trained language models have a shared training objective, i.e., denoising, making it possible to combine the two powerful models and enjoy the best of both worlds. On the one hand, diffusion models offer a promising training strategy that helps improve the generation quality. On the other hand, pre-trained denoising language models (e.g., BERT) can be used as a good initialization that accelerates convergence. We explore training BERT to learn the reverse process of a discrete diffusion process with an absorbing state and elucidate several designs to improve it. First, we propose a new noise schedule for the forward diffusion process that controls the degree of noise added at each step based on the information of each token. Second, we investigate several designs of incorporating the time step into BERT. Experiments on unconditional text generation demonstrate that DiffusionBERT achieves significant improvement over existing diffusion models for text (e.g., D3PM and Diffusion-LM) and previous generative masked language models in terms of perplexity and BLEU score.

水下机器人通常依靠声纳等声传感器来感知周围的环境。但是，这些传感器通常被多种源和噪声类型淹没，这使得使用原始数据对特征，对象或边界返回的任何有意义的推断都非常困难。尽管存在几种传统的处理噪声方法，但它们的成功率并不令人满意。本文介绍了有条件生成的对抗网络（CGAN）的新应用，以训练模型以产生无噪声的声纳图像，从而优于几种常规过滤方法。估计自由空间对于执行主动探索和映射的自主机器人至关重要。因此，与常规方法相比，我们将方法应用于水下占用映射的任务，并显示出卓越的自由和占用空间推断。

为了实现可以模仿人类智能的强大人工智能的目标，AI系统将有能力适应不断变化的场景并连续地学习新知识，而不会忘记先前获得的知识。当机器学习模型经过连续的多个任务进行连续培训时，其在以前学习的任务上的性能可能会在新见到的任务的学习过程中急剧下降。为了避免这种现象被称为灾难性的遗忘，已经提出了持续学习，也称为终身学习，并成为机器学习中最新的研究领域之一。近年来，随着量子机学习的开花，开发量子持续学习很有趣。本文着重于用于量子数据的量子模型的情况，其中计算模型和要处理的数据都是量子。梯度情节记忆方法被合并为设计一种量子连续学习方案，该方案克服了灾难性的遗忘，并实现了知识向后传递。具体而言，一系列量子状态分类任务是由差异量子分类器不断学习的，该分类器的参数通过经典的基于梯度的优化器进行了优化。当前任务的梯度被投影到最接近的梯度，避免了以前任务的损失增加，但允许减少。数值仿真结果表明，我们的方案不仅克服了灾难性的遗忘，而且还要实现知识向后转移，这意味着分类器在先前任务上的绩效得到了增强，而不是在学习新任务时受到损害。

非常大的预培训的语言模型（PTM）（如GPT-3）通常被释放为服务，允许用户设计特定于任务的提示以通过一些黑盒API查询PTMS。在这样的场景中，我们调用语言模型 - AS-Service（LMAAS），PTM的梯度通常不可用。我们可以通过仅访问模型推断API来优化任务提示吗？基于最近的观察结果，大型PTMS具有非常低的内在维度，这项工作提出了黑匣子调谐，通过无衍生算法优化PTM。特别是，我们通过迭代调用PTM推断API来调用CMA-es以优化预先提示的连续提示。我们的实验结果表明，黑匣子调整罗伯塔在少数标签样本上不仅显着优于手动提示和GPT-3的上下文学习，而且还超越了基于梯度的对应物，即提示调整和完整的模型调整。